Kullback-Leibler(KL)差异广泛用于贝叶斯神经网络(BNNS)的变异推理。然而,KL差异具有无限性和不对称性等局限性。我们检查了更通用,有限和对称的詹森 - 香农(JS)差异。我们根据几何JS差异为BNN制定新的损失函数,并表明基于KL差异的常规损失函数是其特殊情况。我们以封闭形式的高斯先验评估拟议损失函数的差异部分。对于任何其他一般的先验,都可以使用蒙特卡洛近似值。我们提供了实施这两种情况的算法。我们证明所提出的损失函数提供了一个可以调整的附加参数,以控制正则化程度。我们得出了所提出的损失函数在高斯先验和后代的基于KL差异的损失函数更好的条件。我们证明了基于嘈杂的CIFAR数据集和有偏见的组织病理学数据集的最新基于KL差异的BNN的性能提高。
translated by 谷歌翻译
尽管基于卷积神经网络(CNN)的组织病理学图像的分类模型,但量化其不确定性是不可行的。此外,当数据偏置时,CNN可以遭受过度装备。我们展示贝叶斯-CNN可以通过自动规范并通过量化不确定性来克服这些限制。我们开发了一种新颖的技术,利用贝叶斯-CNN提供的不确定性,这显着提高了大部分测试数据的性能(约为77%的测试数据的准确性提高了约6%)。此外,我们通过非线性维度降低技术将数据投射到低尺寸空间来提供对不确定性的新颖解释。该维度降低能够通过可视化解释测试数据,并在低维特征空间中揭示数据的结构。我们表明,贝叶斯-CNN可以通过分别将假阴性和假阳性降低11%和7.7%的最先进的转移学习CNN(TL-CNN)来表现出远得更好。它具有仅为186万个参数的这种性能,而TL-CNN的参数仅为134.33亿。此外,我们通过引入随机自适应激活功能来修改贝叶斯-CNN。修改后的贝叶斯-CNN在所有性能指标上的贝叶斯-CNN略胜一筹,并显着降低了误报和误报的数量(两者减少了3%)。我们还表明,通过执行McNemar的统计显着性测试,这些结果具有统计学意义。这项工作显示了贝叶斯-CNN对现有技术的优势,解释并利用组织病理学图像的不确定性。它应该在各种医学图像分类中找到应用程序。
translated by 谷歌翻译
Search and Rescue (SAR) missions in remote environments often employ autonomous multi-robot systems that learn, plan, and execute a combination of local single-robot control actions, group primitives, and global mission-oriented coordination and collaboration. Often, SAR coordination strategies are manually designed by human experts who can remotely control the multi-robot system and enable semi-autonomous operations. However, in remote environments where connectivity is limited and human intervention is often not possible, decentralized collaboration strategies are needed for fully-autonomous operations. Nevertheless, decentralized coordination may be ineffective in adversarial environments due to sensor noise, actuation faults, or manipulation of inter-agent communication data. In this paper, we propose an algorithmic approach based on adversarial multi-agent reinforcement learning (MARL) that allows robots to efficiently coordinate their strategies in the presence of adversarial inter-agent communications. In our setup, the objective of the multi-robot team is to discover targets strategically in an obstacle-strewn geographical area by minimizing the average time needed to find the targets. It is assumed that the robots have no prior knowledge of the target locations, and they can interact with only a subset of neighboring robots at any time. Based on the centralized training with decentralized execution (CTDE) paradigm in MARL, we utilize a hierarchical meta-learning framework to learn dynamic team-coordination modalities and discover emergent team behavior under complex cooperative-competitive scenarios. The effectiveness of our approach is demonstrated on a collection of prototype grid-world environments with different specifications of benign and adversarial agents, target locations, and agent rewards.
translated by 谷歌翻译
经过良好策划的数据集的可用性推动了机器学习(ML)模型的成功。尽管对农业的地球观测数据的获取增加了,但仍有少数策划的标签数据集,这限制了其在训练ML模型中用于农业中的遥控模型的潜力。为此,我们介绍了一个首先的数据集,镰刀,在3个不同卫星的不同空间分辨率下具有时间序列图像,并用多个关键的裁剪参数注释,用于帕迪种植的帕迪耕种,用于泰米尔纳德邦的Cauvery Delta地区,印度。该数据集由388个独特地块的2398个季节样品组成,分布在三角洲的4个地区。该数据集涵盖了2018年1月3月2021日的时间段之间的多光谱,热和微波数据。稻田样品用4个关键的裁剪参数注释,即播种日期,移植日期,收获日期和作物收率。这是最早将生长季节(使用播种和收获日期)视为数据集的一部分的研究之一。我们还提出了一种产量预测策略,该策略使用基于观察到的生长季节以及该地区泰米尔纳德邦农业大学获得的标准季节性信息生成的时间序列数据。随之而来的绩效提高凸显了ML技术的影响,该技术利用了与特定地区的农民紧随其后的标准实践相一致的领域知识。我们在3个单独的任务上进行基准测试数据集,即作物类型,物候日期(播种,移植,收获)和产量预测,并开发了一个端到端框架,用于预测现实世界中的关键作物参数。
translated by 谷歌翻译
对自我监督学习(SSL)的最新分析发现,以下以数据为中心的属性对于学习良好表示至关重要:对任务 - 无关紧要的语义的不变性,在某些潜在空间中的类别可分离性以及从增强样品中可恢复标签的类别。但是,鉴于它们的离散,非欧成功的性质,图形数据集和图SSL方法不太可能满足这些属性。这提出了一个问题:如何绘制SSL方法(例如对比度学习(CL))如何工作?为了系统地探究这个问题,我们在使用通用图扩展(GGAS)时对CL进行概括分析,重点是以数据为中心的属性。我们的分析对GGA的局限性以及与任务相关的增强的必要性产生了正式见解。正如我们经验表明的那样,GGA不会在共同基准数据集上引起与任务相关的不变性,这只会导致对天真的,未经训练的基线的边际收益。我们的理论激发了合成数据生成过程,该过程能够控制与任务相关的信息并拥有预定义的最佳增强。这种灵活的基准测试有助于我们确定高级增强技术(例如自动化方法)中未认可的限制。总体而言,我们的工作在经验和理论上都严格地对以数据为中心的属性对图形SSL的增强策略和学习范式的影响进行了严格的背景。
translated by 谷歌翻译
虽然直接进行微调(FT)大规模调查,但在特定于任务数据上进行了预定的模型,众所周知,可以引起强大的分配任务绩效,但最近的作品表明,不同的适应协议,例如线性探测(LP),例如线性探测(LP) ft,可以改善分布的概括。但是,此类适应协议的设计空间仍未探索,并且对此类协议的评估主要集中在分配转移上。因此,在这项工作中,我们评估了跨分布转移和机器学习安全指标(例如,异常检测,校准,对腐败的鲁棒性)的共同适应协议。我们发现协议引起了不同的权衡,这些权衡从事先评估中显而易见。此外,我们证明,适当的数据增强和协议可以大大减轻这种权衡。最后,我们假设并从经验上看到,在LP期间使用促进硬度的增强功能,然后使用增强功能对ft进行ft可能对缓解折衷尤其有效。
translated by 谷歌翻译
模型不可知的元学习算法旨在从几个观察到的任务中推断出先验,然后可以使用这些任务来适应新任务,但很少有示例。鉴于在现有基准中产生的任务的固有多样性,最近的方法使用单独的可学习结构,例如层次结构或图形,以实现对先验的特定任务适应。尽管这些方法产生了明显更好的元学习者,但我们的目标是在异质任务分配包含具有挑战性的分布变化和语义差异时提高其性能。为此,我们介绍了CAML(对比知识增强的元学习),这是一种新颖的方法,用于知识增强的几次学习,它演变了知识图以有效地编码历史经验,并采用了对比性的蒸馏策略,以利用编码的知识来为基础学习者的任务感知调制。使用标准基准测试,我们在不同的几次学习方案中评估CAML的性能。除了标准的少量任务适应外,我们还考虑了我们的经验研究中更具挑战性的多域任务适应和少数数据集泛化设置。我们的结果表明,CAML始终胜过最知名的方法,并实现了改善的概括。
translated by 谷歌翻译
我们有兴趣估计深神经网络的不确定性,这些神经网络在许多科学和工程问题中起着重要作用。在本文中,我们提出了一个引人注目的新发现,即具有相同权重初始化的神经网络的合奏,在数据集中受到持续偏差的转移而训练会产生稍微不一致的训练模型,其中预测的差异是强大的指标。认知不确定性。使用神经切线核(NTK),我们证明了这种现象是由于NTK不变的部分而发生的。由于这是通过微不足道的输入转换来实现的,因此我们表明可以使用单个神经网络(使用我们称为$ \ delta- $ uq的技术)来近似它,从而通过边缘化效果来估计预测周围的不确定性偏见。我们表明,$ \ delta- $ uq的不确定性估计值优于各种基准测试的当前方法 - 异常拒绝,分配变化下的校准以及黑匣子功能的顺序设计优化。
translated by 谷歌翻译
准确地检测出具有不同语义和协变量转移相对于分布的数据(ID)数据的分布外(OOD)数据对于部署安全可靠的模型至关重要。当处理高度结果应用(例如医学成像,自动驾驶汽车等)时,情况尤其如此。目的是设计一个可以接受ID数据有意义变化的检测器,同时还拒绝了OOD制度的示例。在实践中,可以通过使用适当的评分函数(例如能量)来实现一致性来实现此双重目标,并校准检测器以拒绝一组策划的OOD数据(称为离群曝光或不久的OE)。尽管OE方法被广泛采用,但由于现实世界情景的不可预测性,组装代表性的OOD数据集既昂贵又具有挑战性,因此最新设计了无OE探测器的趋势。在本文中,我们做出了一个令人惊讶的发现,即控制对ID变化的概括和暴露于不同(合成)异常值的示例对于同时改善语义和模态转移检测至关重要。与现有方法相反,我们的方法样本在潜在空间中嵌入式体系,并通过负数据扩展构建异常示例。通过一项关于医学成像基准(MedMnist,ISIC2019和NCT)的严格实证研究,我们在语义和模态转移下的现有无OE,OOD检测方法上表现出显着的性能增长(AUROC中的15美元\%-35 \%$)。
translated by 谷歌翻译
部署的ML模型的基本要求是从与培训不同的测试分布中汲取的数据概括。解决此问题的一个流行解决方案是,仅使用未标记的数据将预训练的模型调整为新的域。在本文中,我们关注该问题的挑战性变体,其中访问原始源数据受到限制。虽然完全测试时间适应(FTTA)和无监督的域适应性(UDA)密切相关,但由于大多数UDA方法需要访问源数据,因此UDA的进展不容易适用于TTA。因此,我们提出了一种新方法,即Cattan,它通过放松了通过新颖的深层子空间对准策略来放松访问整个源数据的需求,从而弥合了UDA和FTTA。通过为源数据存储的子空间基础设置的最小开销,Cattan在适应过程中可以在源数据和目标数据之间进行无监督的对齐。通过对多个2D和3D Vision基准测试(Imagenet-C,Office-31,OfficeHome,Domainnet,PointDa-10)和模型体系结构进行广泛的实验评估,我们在FTTA性能方面表现出显着提高。此外,即使使用固有健壮的模型,预训练的VIT表示以及目标域中的样本可用性低,我们也会对对齐目标的实用性做出许多关键发现。
translated by 谷歌翻译